import requests
response=requests.get("https://www.baidu.com")
headers={"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:136.0) Gecko/20100101 Firefox/136.0"} # 用于伪装浏览器
response=requests.get("https://www.baidu.com", headers=headers,timeout=0.5,verify=True) # verify=True表示验证证书，verify=False表示不验证证书
print(response.text)
print(response.status_code)
proxy={"http":"127.0.0.1:1087","https":"127.0.0.1:1087"}
try:
    response=requests.get("https://www.baidu.com", headers=headers,timeout=0.5,proxies=proxy) #因为这个代理是有问题的，所以用try进行演示
except Exception as e:
    print(e)
print(response.text)


from bs4 import BeautifulSoup
"""可以使用BeautifulSoup解析html，bs支持多种html解析库，编译器自带的是html.parser，也可以使用lxml，html5lib，xml
    除了编译器自带的类型，其他所有都要通过pip install安装后然后通过import引入项目
"""
# BeautifulSoup(markup,"html.parser")
# BeautifulSoup(markup,"lxml")
# BeautifulSoup(markup,"html5lib")
# BeautifulSoup(markup,"xml")

response=requests.get("https://www.baidu.com", headers=headers,timeout=0.5)
soup=BeautifulSoup(response.text,features="html.parser")
print(soup.title)
print(soup.text)
print(soup.prettify())

import json
# print(response.json()) # 如果返回的是json格式，可以使用json()方法进行解析
json_str=response.json()
map=json.loads(json_str) # 如果返回的是json格式的字符串，可以使用json.loads()方法进行解析，返回成字典